Generalized Entropy and Decision Trees

We introduce an extension of the notion of Shannon conditional entropy to a more general form of conditional entropy that captures both the conditional Shannon entropy and a similar notion related to the Gini index. The proposed family of conditional entropies generates a collection of metrics over the set of partitions of finite sets, which can be used to construct decision trees. Experimental results suggest that by varying the parameter that defines the entropy it is possible to obtain smaller decision trees for certain databases without sacrificing accurracy. RÉSUMÉ. Nous présentons une extension de la notion de l’entropie conditionnelle de Shannon à une forme plus générale d’entropie conditionnelle qui formalise l’entropie conditionnelle de Shannon et une notion semblable liée à l’index de Gini. La famille proposée d’entropies conditionnelles produit une collection de métriques sur l’ensemble de partitions des ensembles finis, qui peuvent être employées pour construire des arbres de décision. Les résultats expérimentaux suggèrent qu’en changeant le paramètre qui définit l’entropie il est possible d’obtenir de plus petits arbres de décision pour certaines bases de données sans sacrifier l’exactitude de la classification.